Vương Duy người huyện Kỳ, Tấn Trung, Sơn Tây, Trung Quốc. Ông xuất thân trong gia tộc rất danh giá thời Đường là Thái Nguyên Vương thị. Cha ông là Vương Xử Liêm (王处廉), mẹ là Thôi thị, trong nhà ông là trưởng, sau đó tới Vương Tấn (王缙), cùng 2 em trai và một em gái.

Năm Khai Nguyên thứ 9 (721), thời Đường Huyền Tông, Vương Duy đỗ tiến sĩ, nhận chức quan Đại nhạc thừa, sau phạm điều cấm, bị khiển trách và phải đến Tế Châu làm tham quân[1]. Năm Khai Nguyên thứ 14 (726), ông từ bỏ quan chức, nhưng sau đó lại nhận chức Hữu thập di[1], thăng tới Giám sát ngự sử[1]. Năm 40 tuổi, được thăng lên Điện trung truyền ngự sử.

Năm Thiên Bảo thứ 14 (755), An Lộc Sơn chiếm Trường An. Vương Duy bị An Lộc Sơn bức bách ra làm quan, nhưng sau không được như ý, ông đã lui về ở tại biệt thự Lam Điền, sáng tác thơ ca để biểu đạt lòng mình. Sau khi An Lộc Sơn thất bại, nhờ có em trai là Vương Tấn khi dó đang giữ chức quan cao nên Vương Duy được miễn tội và được phong chức Thái tử trung doãn[1], sau thăng tới Thượng thư hữu thừa[1], vì thế người đời còn gọi ông là Vương hữu thừa (王右丞).